# -*- coding: utf-8 -*-

# 1.获取网页源码（10分）
# 2.导入模块（10分）
# 3.匹配下载地址（10分）
# 4.网站反爬虫（10分）
# 5.搜索中国，获取查询结果的源码（使用百度,可以直接复制文档上的代码）（10分）
# 6.搜索中国，获取查询结果的源码（使用打码平台等任何手段，可以直接复制文档上的代码）（10分）
# 7.翻页获取每页的源码内容（10分）
# 8.从源码中提出企业信息（10分）
# 9.将数据存入mysql数据库（10分）
# 10.将数据存入DB数据库（10分）

import scrapy
from ..items import QiyeItem


class XinyongSpider(scrapy.Spider):
    name = 'xinyong'
    start_urls = ['http://xwqy.gsxt.gov.cn/']

    def parse(self, response):
        all_li = response.xpath("//div[@class='con_text']/ul[@class='con_list']")
        for li in all_li:
            title = li.xpath("./li/a/text()")[0].extract()
            time = li.xpath(".//li/span/text()")[0].extract()
            print(title, time)

            item = QiyeItem()
            item['title'] = title
            item['time'] = time
            yield item
